Theo truyền thuyết, tu viện được thành lập năm 328 trong triều đại Đông Tấn bởi nhà sư Huệ Lý (慧理, Hui Li), người đến từ Ấn Độ. Từ khi thành lập, Linh Ẩn tự là một tu viện nổi tiếng ở vùng Giang Nam. Vào thời đỉnh cao trong thời Vương quốc Ngô Việt (907-978), tu viện cao 9 tầng, có 8 đình, 72 hội trường, hơn 1.300 phòng ký túc xá, nơi sinh sống của hơn 3.000 nhà sư. Một số các hình khắc Phật giáo phong phú trong hang động Phi Lai phong và các ngọn núi xung quanh cũng có niên đại từ thời kỳ này. Tương truyền, Tế Điên Hòa Thượng cũng có trong số những người đã tu hành tại đây.

Sau triều đại Nam Tống, tu viện được coi là một trong mười ngôi đền quan trọng nhất của Thiền tông ở vùng Giang Nam. Tuy nhiên, sự nổi bật của chùa đã không giúp được chùa thoát được những kẻ cướp. Chùa đã được xây dựng lại không dưới 16 lần kể từ đó. Các tòa nhà hiện nay là phục dựng hiện đại từ thời nhà Thanh muộn. Trong cuộc Cách mạng Văn hóa, chùa và các cơ sở phải chịu một số thiệt hại dưới bàn tay của Hồng vệ binh. Tuy nhiên, chùa đã thoát được sự hủy diệt quy mô lớn, một phần vì sự bảo vệ của Thủ tướng Chu Ân Lai.

Hiện nay ngôi chùa này được phát triển mạnh như một điểm tham quan cho cả người hành hương và khách du lịch. Chùa được xem là một trong những tu viện giàu có nhất ở Trung Quốc, và nhiều người đến hành hương thường xuyên, bao gồm cả cựu lãnh đạo Đặng Tiểu Bình.